Anticamente questa costruzione doveva essere un castello medievale di forma quadrata circondato da un fossato largo circa 5-6 metri. L’accesso al castello era a nord e un ponte levatoio permetteva l’entrata attraverso un possente torrione che sorgeva al centro della parete settentrionale (una possibile ricostruzione è fornita dal  disegno).

Delle quattro torri angolari, una restava ancora in piedi nel 1714.
Ancor oggi esiste, benché incorporato col restante fabbricato un tronco di torre le cui dimensioni sono 5,90 x 5,22 m e danno dimostrazione della sua originaria imponenza. La parete del lato nord lascia intravedere piccole finestre romaniche e l’opera muraria è caratterizzata dalla presenza alterna di una fila di conci trachitici sovrapposta a due o tre file di mattoni; poiché questa tecnica viene ripetuta sul lato est della torte, si può presumere che il tutto sia sorto contemporaneamente, cioè nel XII secolo o al principio del XIII.

Questo potrebbe essere sufficiente per poter riferire il manufatto alla famiglia di Ser Ugo, da cui il Casale prende poi il nome. Nei secoli successivi passò in proprietà alla famiglia Dotti de Dauli (1605) i quali iniziarono una prima trasformazione da castello in villa. Successivamente, i nuovi proprietari, i Conti Ferrì, le diedero una sistemazione definitiva.

Al pianterreno una decorazione costituita da una serie di mensole prospettiche nel registro più elevato, contiene cartigli con il nome del nobile Giuseppe Ferri che la fece decorare nel 1688. Al piano superiore, nella zona centrale, si presenta in tutta la sua imponenza la sala dello Zodiaco, nelle cui pareti rimangono visibili ancor oggi alcuni affreschi dei segni zodiacali.

Lungo il lato occidentale sorge la sala degli stemmi nella quale è possibile riconoscere entro la decorazione pittorica lo stemma della famiglia Dotti de Dauli. 
L’edificio ha subito nel corso dei secoli notevoli rimaneggiamenti. Esternamente non presenta caratteri artistici di grande rilievo, se si eccettua l’ampio portale architettonico sulla facciata sud, sormontato dal balconcino con balaustra in pietra, e l’archeggiatura decorativa che cade sotto la linea di gronda.

Nella prima metà del XIX secolo, i Conti Ferri la permutarono con un’altra proprietà dei Conti da Zara: questi ultimi la donarono poi al comune di Casalserugo.